Rachmat Kartolo merupakan salah seorang daripada lima anak Kartolo dan Roekiah, dua pelakon filem yang aktif di Tan's Film, pada 13 Mac 1938.[1] Selepas kematian Roekiah, Kartolo membawa anak-anaknya ke kampung halamannya di Yogyakarta. Di bandar, ibu kota Indonesia semasa Revolusi Nasional Indonesia pada hari seterusnya, Rachmat kehilangan salah seorang adik-beradiknya, dan, pada 1949, bapanya. Selepas Belanda mengiktiraf kemerdekaan Indonesia, Rachmat dan anak-anaknya  – Jusuf, Imam, dan Sri Wahjuni – telah dibawa ke Jakarta dan dibesarkan oleh rakan bapa mereka, Adikarso.[2][3] Di sana Rachmat menamatkan pelajarannya dari sekolah menengah atas (SMA) sebelum menyertai Akademi Teater Nasional Indonesia.[1]